최적화최적화는 특정 규칙에 의해 제한된 정의된 타당 영역 내에서 목적 함수를 최소화하거나 최대화하는 '최고' 해를 찾는 수학적 과정이다.
전통적 방법과 지능형 방법
- 뉴턴-랩슨 방법:이차 도함수(헤시안)를 사용하는 반복적인 근 찾기 접근법이다.
- 경사 하강법:음의 경사를 따라 지역 최솟값으로 이동하는 일차 방법이다.
- 진화 알고리즘(EAs):생물학적 자연선택을 모방한 확률적이고 인구 기반의 탐색 방법이다.
핵심 개념
다음 두 가지를 구분하는 것이 중요하다: 결정 벡터 (변경하는 변수)와 목적 함수 (성공의 척도).
인코딩의 함정
다음 사항에 주의하라: 소멸하는 기울기 계산 기반 방법에서와 햄밍 절벽 이진 코드 진화 알고리즘에서. 단일 십진수 증가(예: 7에서 8로)는 모든 비트를 뒤집어야 할 수 있다(0111에서 1000으로), 탐색 효율성을 저해하는 '절벽'을 만든다. 이를 완화하기 위해 그레이 코드를 사용하라.
파이썬 구현: 경사 하강법
질문 1
왜 볼록 최적화 문제는 비볼록 문제보다 "더 쉬운" 것으로 간주되는가?
질문 2
진화 알고리즘의 맥락에서, '표현형(Phenotype)'은 무엇을 의미하는가?
사례 연구: 삼각형 면적 최대화
아래 시나리오를 읽고 공식화 질문에 답하라.
빗변의 길이 $c$가 고정된 직각삼각형의 면적을 최대화하는 문제를 고려하라.
Q
1. 결정 변수와 목적 함수를 식별하라.
정답:
변수: 두 변의 길이, $a$와 $b$.
목적 함수: $Area = \frac{1}{2} \cdot a \cdot b$를 최대화한다.
변수: 두 변의 길이, $a$와 $b$.
목적 함수: $Area = \frac{1}{2} \cdot a \cdot b$를 최대화한다.
Q
2. 기하학적 성질에 기반한 제약 조건을 서술하라.
정답:
피타고라스 정리에 따르면, 제약 조건은 다음과 같다: $a^2 + b^2 = c^2$.
피타고라스 정리에 따르면, 제약 조건은 다음과 같다: $a^2 + b^2 = c^2$.
Q
3. 뉴턴-랩슨 방법을 사용할 경우, 이차 편도함수를 고려하기 위해 어떤 행렬을 계산해야 하는가?
정답:
헤시안 행렬 ($H$), 목적 함수의 모든 이차 편도함수를 포함하는 행렬.
헤시안 행렬 ($H$), 목적 함수의 모든 이차 편도함수를 포함하는 행렬.